Phim được khởi quay từ tháng 7 năm 2003.[4]

Nhân vật Sài được giao cho Ngô Thế Quân, họa sĩ trình bày của Nhà xuất bản Thế Giới, ban đầu anh muốn được diễn viên khác lồng tiếng cho mình, nhưng đạo diễn Hồ Quang Minh cảm thấy thích thú với chất giọng của Quân nên đã để nguyên.[5] Trước khi sản xuất Hồ Quang Minh đã có ý định đưa bộ phim tham dự Liên hoan phim Cannes.[6]

Đạo diễn Hồ Quang Minh chia sẻ rằng lúc đầu anh định làm phim tới 180 phút chia làm 3 tập[7] chuyển thể trọn vẹn cuốn tiểu thuyết, bối cảnh phim tập trung chủ yếu vào mối quan hệ tay ba phức tạp giữa Sài, Tuyết và Hương. Tuy nhiên trong quá trình biên soạn kịch bản suốt 16 năm, cảm nhận của ông về cuốn tiểu thuyết có thay đổi nên ông đã quyết định chỉ chuyển thể phần đầu. Từ đó chủ đề phim cũng bị đổi khác so với tiểu thuyết.[8]

Phương Dung là vợ của đạo diễn Hồ Quang Minh, trước khi đóng phim, cô đã về quê và sống cạnh vợ của nhà văn Lê Lựu trong thời gian khá dài. Diễn xuất của cô khiến nhà văn Lê Lựu cảm thấy hài lòng, bản thân Phương Dung đã tự hóa trang cho mình thành một người phụ nữ nông thôn già ở những cảnh cuối phim.[2]

Tiểu thuyết “Thời xa vắng” nhận Giải thưởng của Hội Nhà văn Việt Nam năm 1986, một năm sau, Hồ Quang Minh đã thành công mua tác quyền để chuyển thể thành phim. Sau 16 năm sau chỉnh sửa kịch bản bộ phim “Thời xa vắng” mới được sản xuất.[9]

Ngôi nhà của ông đồ Khang trong phim được dựng tại thôn Thanh Cù, xã Ngọc Thanh, huyện Kim Động, Hưng Yên.[10] Trong tiểu thuyết, bối cảnh này thuộc về huyện Khoái Châu.[7] Một số cảnh trong tiểu thuyết được miêu tả kỹ và trong kịch bản phân cảnh, cũng như lúc quay, các cảnh này đều khá trung thành với nguyên tác, nhưng lúc dựng phim, như đạo diễn Hồ Quang Minh đã phải cắt bớt để hợp với “tông” phim.[10]

Vì đường đê tại Kim Động đã được rải nhựa,[7] đạo diễn và quay phim chính Trần Hùng đã phải đi qua gần 5000km đường đê để tìm một khúc đê phù hợp. Vệc dựng bối cảnh nhà ông Đồ khá công phu: đó là ngôi nhà cổ mà đạo diễn phải đến Thanh Hóa chọn và di rời về khu vườn đã được thuê ở Hưng Yên. Sau đó, hoạ sĩ thiết kế cải tạo lại cảnh quay, bài trí không gian bên trong và bên ngoài ngôi nhà.[11]

So với tiểu thuyết, phim đã sáng tạo một nhân vật hoàn toàn mới là ông Kiên kéo vó bè, được lấy từ truyện ngắn Bến sông. Nhân vật Tuyết trên phim được ưu ái hơn so với tiểu thuyết, cô được đề cập đến nhiều hơn; nhân vật cậu con trai của Sài và Tuyết được chuyển thành con gái. Đồng thời đạo diễn cũng sáng tạo thêm chi tiết cô gái này đi lấy chồng.[8]

Phần âm thanh và âm nhạc trong phim được thực hiện tại Hà Nội, sau đó được đưa sang Pháp làm hậu kỳ với đội ngũ từng tham gia bộ phim Nguyên tố thứ 5.